Platforma и HFLabs: Технология безопасного метчинга данных

Основные статьи:

• Data mining Интеллектуальный анализ данных
• Управление данными (Data management)

2022: Тестирование технологии безопасного метчинга

Разработчик решений для бизнеса на основе больших данных Platforma и ИТ-компания HFLabs протестировали технологию безопасного метчинга данных двух разных игроков. Об этом 19 июля 2022 сообщила компания Platforma. Стороны разработали алгоритм преобразования и совмещения баз данных, который учитывает существующие требования законодательства и позволяет находить пересечения без использования персональных данных. Такая технология помогает компаниям выявлять общих клиентов и предлагать им совместные программы лояльности, новые продукты и сервисы, а также улучшать коммуникацию с пользователями, увеличивать конверсию и т.д.

Первыми участниками пилота стали ВТБ и Ростелеком. С помощью алгоритма были объединены клиентские базы, содержащие суммарно около 250 млн записей. Решение Platforma и HFLabs позволило найти группы клиентов, которые пользуются услугами обоих участников пилота, без использования и передачи их персональных данных. Этого удалось достичь за счет работы с синтетическими идентификаторами — UUID, которые не являются персональными данными и состоят из случайного набора букв и цифр фиксированной длины, а также благодаря двухэтапной схеме распределённого преобразования данных с использованием защищённого ключа-«секрета».Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft

При подготовке к работе данные хэшируются в два этапа с применением сессионного секрета, доступного только владельцам данных, а затем передаются в федеративный хаб – сердце ИТ-архитектуры. Он сравнивает хеши и находит пересечения в клиентских базах. Модель обмена поддерживает несколько способов хеширования данных, в том числе предусмотренные ГОСТом методы.

Одна из ключевых сложностей проекта – разный формат клиентских данных. Даже внутри одного бизнеса нередко существуют различные ИТ-системы (CRM, биллинговые, кредитные портфели и т.д.), где информация хранится в разном формате с разным набором полей, характеристик. Например, в одной системе имя записано как «Наталья», а в другой – «Наталия». Совместное решение HFLabs и Platforma учитывает эту особенность, поэтому сначала происходит поиск схожих данных с помощью механизмов дедупликации и алгоритмов, учитывающих синонимы, опечатки, взаимозаменяемые слова, устаревшие наименования населенных пунктов.

Второй важный критерий при метчинге клиентов — это скорость. Первый этап хеширования может занимать около двух дней. Затем метчинг баз двух компаний, включая второй этап хеширования, может потребовать несколько часов.

Специализированное решение, доработанное партнером под нашу задачу, доказало свою работоспособность и эффективность. Оно применимо как для работы с базами физических лиц, так и юридических. Мы намерены масштабировать это решение и оформить в полноценный продукт для бизнеса. Выявление общих клиентов позволит различным компаниям разрабатывать новые совместные программы лояльности или специальные предложения для пользователей, углубить свое знание и понимание клиентов. Вместе с этим потребители быстрее получат доступ к новым услугам: например, банк охотнее выдаст кредит, зная, что клиент исправно оплачивает сотовую связь у провайдера, — рассказал генеральный директор Platforma Алексей Каштанов.

Наше решение обеспечивает безопасную, быструю и точную идентификацию клиентов в базах разных организаций. Это важный шаг к созданию федеративных экосистем, объединяющих разные компании с равными правами. Бизнес сможет не только найти общих клиентов, но и понять, какие товары и услуги они покупают, – объяснил Константин Степанов, исполнительный директор IT-компании HFLabs.

В перспективе на базе разработанной технологии Platforma сможет выступать своего рода дата-банком, где партнеры хранят свои данные в собственных ячейках без доступа к ним со стороны других участников. Вместе с этим пользователи такого сервиса смогут безопасно объединять, метчить свои базы, проводить анализ и строить математические модели на объединенных данных, создавать сервисы и бизнес-продукты, участвовать в монетизации.